AI Papers Daily

#Bias Correction

3 篇

Cheaper is Better: A Discount-Aware Network for Conversion Rate Prediction in E-commerce Recommendation System

更便宜更好：折扣感知网络用于电商推荐CVR预测

🧭 折扣感知CVR预测

DANet通过傅里叶频谱、分布去偏和回归辅助任务建模商品折扣率对转化率的影响，离线AUC提升1.61%。

📌 工作参考价值（4 点）

• 将折扣率作为显式特征引入CVR模型，并使用时频变换捕获长周期折扣趋势，可借鉴到价格敏感品类的推荐排序中。
• 分布去偏模块设计适用于电商大促、满减等场景，能缓解用户折扣偏好和周期性活动带来的偏差，可迁移至其他有偏差的用户行为建模（如优惠券使用）。
• 引入折扣率回归辅助任务，联合主CVR任务训练，能提升模型对折扣幅度的准确表达，可推广到其他数值敏感特征（如价格、评分）的多任务学习。
• 整体架构轻量，已线上部署，证明折扣感知信号在工业级推荐系统中切实有效，可作为转化率模型的通用增强模块。

RecSys | 2026-07-14 | cs.IR | score 10/10

CVR PredictionDiscount-AwareFourier TransformBias CorrectionMulti-task Learning

Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference

基于预测动力推断的统计可靠LLM排名评估

🧭 LLM评估的统计偏差校正 ★ 深度解读

Amazon

利用预测动力推断对LLM评判进行偏差校正，实现无偏且更精确的排序指标估计

📌 工作参考价值（4 点）

• 低成本高可靠评估：用30~100条人工标注（黄金集）配合大量LLM判断，即可获得无偏估计并将标准误差降低21%，适合电商搜索、推荐系统等需要频繁A/B测试的场景，显著节省人力成本。
• 层次化指标的稀疏化技巧：对Precision@K这类每个query汇总评分的指标，通过将输出空间从指数级降为2^K（K通常≤10）的联合分布，使PPI可实际工程化，可直接复用到NDCG@K、MAP等排序指标。
• 区分系统微小改进：生产系统中，LLM判断的原始偏差会淹没不同系统变体的差异；引入偏差校正后，仅需100条人工标注即可正确预测最优变体，日销售额提升407bps，适用于模型迭代中的离线快速决策。
• 可推广到Agent评估：方法可延伸至基于LLM的critic信号校准（如对话质量、事实准确度），用少量人工judge校正Agent自我评估的偏差，为多智体系统提供可信的自动化优化信号。

Eval | 2026-06-03 | cs.IR | score 10/10

PPILLM-as-JudgeBias CorrectionPrecision@KRanking EvaluationHierarchical Metrics

Correcting Stochastic Update Bias in Preconditioned Language Model Optimizers

纠正预条件语言模型优化器中的随机更新偏差

🧭 预条件优化器偏差校正 ★ 深度解读

Fastino Labs

通过微批次交叉拟合与Delta方法逆修正，消除梯度-预条件子耦合和逆预条件有限样本偏差，提升AdamW、Sophia、Shampoo预训练效果

📌 工作参考价值（5 点）

• 可用于生成式推荐/大模型训练中的优化器改进：当使用AdamW、Sophia、Shampoo等自适应优化器时，将批次拆分为独立子批，分别估计梯度和预条件子，可移除耦合偏差；同时利用子批方差对逆预条件子做泰勒/Jackknife校正，降低逆运算的非线性偏差。代码级实现只需对现有优化器做包装（Algorithm 1），无需改动模型。
• 在噪声较大、预条件子估计不稳定的场景（如小批量、低EMA系数）效果更明显：电商推荐模型中若使用对角二阶矩（AdamW）或曲率估计（Sophia），可借鉴本文的Delta方法逆校正，公式为 \(\tilde{T}(\bar{p}_k) = 1/(\bar{p}_k + \lambda) - \widehat{\text{Var}}(\bar{p}_k)/(\bar{p}_k + \lambda)^3\)，仅需维护子批方差，计算开销极小。
• 矩阵预条件子（如Shampoo）的校正可在特征基下进行：对于推荐系统中可能的矩阵预条件（如K-FAC），可利用平均预条件子的特征分解，将每个子批投影到该基下，对特征值逐元素校正。避免反复特征分解，工程上可行。
• 在Agent多智体训练中，若每个Agent的本地更新可视为微批次，可利用方差校正来提升全局聚合的稳定性：将各Agent本地计算的预条件子统计量视为独立子批，使用Jackknife或方差校正再聚合，降低系统估计偏差，可能提升收敛速度和最终策略质量。
• 注意拆分方式要保留原优化器的分母规模：实验显示两折拆分（各用一半数据）会因分母样本减半而增大方差，推荐使用留一法（LOO）构造分母，保持分母接近全批量规模，从而在移除耦合的同时不显著增加噪声。

Training | 2026-05-20 | stat.ML | score 8/10

Bias CorrectionPreconditioned OptimizerAdamWSophiaShampooLanguage Model Pretraining